//good web site http://www.yellowlemon.net/javascript/slider/rotating-image-slider
/* What should I do with
http://www.cripo.com.ua/?sect_id=10&aid=167207


examples
home_phone.css
autosale.ua
sinoptic.ua/
12/12/maydan
12/12/rozhdestvenskij-klip


*/

import java.io.*;
import java.net.MalformedURLException;
import java.net.URL;
import java.net.URLConnection;
import java.util.ArrayList;
import java.util.Arrays;
import java.util.Date;
import java.util.List;
import java.util.regex.*;

public class Main {
	public static void main(String[] args) throws IOException, IllegalAccessException {
		/*File newFile = new File("folderTestBla/ewfsd/sdfsd");
		System.out.println(newFile.mkdirs());*/


		String temp = null;
		String toAdd = "ukr.net";

		URL currentUrl = new URL("http://portal.un.net.ua/");



//		BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(connection.getInputStream()));







		/*Многие операционные системы запрещают использование некоторых служебных символов. Запрещенные символы Windows:

    \ - разделитель подкаталогов
    / - разделитель ключей командного интерпретатора
    : - отделяет букву диска или имя альтернативного потока данных
    * - заменяющий символ (маска "любое количество любых символов")
    ? - заменяющий символ (маска "один любой символ")
    " - используется для указания путей, содержащих пробелы
    < - перенаправление ввода
    > - перенаправление вывода
    | - обозначает конвейер
*/

//		System.out.println(toAdd.matches(".*[\\*\\\\/\\:\\?\"\\<\\>\\|].*"));


		List<String> stringList = WedDownloader.webReader("http://ukr.net/");
		List<String> linksList = WedDownloader.getLinksFromUrl("http://ukr.net");

		for ( String link : linksList ) {
//			WedDownloader.saveLocal(link,"folderBlaBla/");
			System.out.println(WedDownloader.checkContent(link));
		}

//		String text2 = "/news/proisshestvija.html";
//		String newString = text2.replaceAll("^(/).*", "");
//		System.out.println(newString);

//		System.out.println("the result is " + text2.replaceFirst("/",""));

//		String text2 = "news/proisshestvija.html";
//		Pattern pattern = Pattern.compile("^http://");
//		Pattern pattern = Pattern.compile("^//*(.*)");
//		Pattern pattern = Pattern.compile("^(//*).*");
//		Matcher matcher = pattern.matcher(text2);
//		System.out.println("the result is " + text2.startsWith("http://"));
//		text2.
//		System.out.println(matcher.find());
		/*if ( matcher.find() ) {
			System.out.println( matcher.group(1));
		}*/
		/*if ( ! matcher.find() ) {
			temp = toAdd + text2;
		}
		System.out.println("text2 " + text2);
		System.out.println("temp " + temp);*/


//		System.out.println(WedDownloader.webReader("http://ukr.net/").size());
//		wedDownloader.getLinksFromUrl("http://photo.vesti.ua/kiev/1261-nochnoj-evromajdan-stroit-barrikady-i-zhdet-shturma");

		/*Pattern p = Pattern.compile("(?<=(?i)href\\s{0,1}=\\s{0,1}\").*?(?=\")");
		<A href=\"about.htm\">Полный справочник по C</A>

		String forTest = "baba babab";
		Pattern myPattern = Pattern.compile("aba");
		Matcher matcher = myPattern.matcher(forTest);
		while ( matcher.find() ) {
			System.out.println(matcher.group());
		}*/

		/*Pattern p = Pattern.compile("-?\\d+");
		Matcher m = p.matcher("ldjgfldkgfj1111k;lk;lk333s here");
		while (m.find()) {
			System.out.println(m.group());
		}*/

//		/*String output = getUrlContents("http://ukr.net/");
//		System.out.println(output);*/

		/****WORKING PARSER******/
		String text = "<li class=\"ram\" style=\"width:67px;\"><div style=\"width:67px;\"><a title=\"Овен (21.03 - 20.04)\" alt=\"Aries\" href=\"http://orakul.ua/horoscope/astro/general/today/aries.html\" target=\"_blank\" rel=\"nofollow\" lc=\"581\">Овен</a></div></li>\n" +
				"<li class=\"taurus\"><div style=\"width:67px;\"><a title=\"Телец (21.04 - 21.05)\" alt=\"Taurus\" href=\"http://orakul.ua/horoscope/astro/general/today/taurus.html\" target=\"_blank\" rel=\"nofollow\" lc=\"581\">Телец</a></div></li>\n" +
				"<li class=\"gemini\"><div><a title=\"Близнецы (22.05 - 21.06)\" alt=\"Gemini\"  href=\"http://orakul.ua/horoscope/astro/general/today/gemini.html\" target=\"_blank\" rel=\"nofollow\" lc=\"581\">Близнецы</a></div></li>\n" +
				"<li class=\"cancer\"><div><a title=\"Рак (22.06 - 23.07)\" alt=\"Cancer\"  href=\"http://orakul.ua/horoscope/astro/general/today/cancer.html\" target=\"_blank\" rel=\"nofollow\" lc=\"581\">Рак</a></div></li>\n" +
				"<li class=\"lion\" style=\"width:67px;\"><div><a title=\"Лев (24.07 - 23.08)\" alt=\"Lion\"  href=\"http://orakul.ua/horoscope/astro/general/today/lion.html\" target=\"_blank\" rel=\"nofollow\" lc=\"581\">Лев</a></div></li>\n" +
				"<li class=\"virgin\"><div><a title=\"Дева (24.08 - 23.09)\" alt=\"Virgo\"  href=\"http://orakul.ua/horoscope/astro/general/today/virgo.html\" target=\"_blank\" rel=\"nofollow\" lc=\"581\">Дева</a></div></li>\n" +
				"<li class=\"scales\"><div style=\"width:67px;\"><a title=\"Весы (24.09 - 23.10)\" alt=\"Libra\"  href=\"http://orakul.ua/horoscope/astro/general/today/libra.html\" target=\"_blank\" rel=\"nofollow\" lc=\"581\">Весы</a></div></li>\n" +
				"<li class=\"scorpion\"><div><a title=\"Скорпион (24.10 - 22.11)\" alt=\"Scorpio\"  href=\"http://orakul.ua/horoscope/astro/general/today/scorpio.html\" target=\"_blank\" rel=\"nofollow\" lc=\"581\">Скорпион</a></div></li>\n" +
				"<li class=\"sagittarius\" style=\"width:67px;\"><div><a title=\"Стрелец (23.11 - 21.12)\" alt=\"Sagittarius\"  href=\"http://orakul.ua/horoscope/astro/general/today/sagittarius.html\" target=\"_blank\" rel=\"nofollow\" lc=\"581\">Стрелец</a></div></li>\n" +
				"<li class=\"capricorn\"><div><a title=\"Козерог (22.12 - 20.01)\" alt=\"Capricorn\"  href=\"http://orakul.ua/horoscope/astro/general/today/capricorn.html\" target=\"_blank\" rel=\"nofollow\" lc=\"581\">Козерог</a></div></li>\n" +
				"<li class=\"aquarius\"><div><a title=\"Водолей (21.01 - 19.02)\" alt=\"Aquarius\"  href=\"http://orakul.ua/horoscope/astro/general/today/aquarius.html\" target=\"_blank\" rel=\"nofollow\" lc=\"581\">Водолей</a></div></li>\n" +
				"<li class=\"fish\"><div><a title=\"Рыбы (20.02 - 20.03)\" alt=\"Pisces\"  href=\"http://orakul.ua/horoscope/astro/general/today/pisces.html\" target=\"_blank\" rel=\"nofollow\" lc=\"581\">Рыбы</a></div></li>\n" +
				"</ul>";

//		String text2 = "http://orakul.ua/horoscope/astro/general/today/aries.html/";
//		String text2 = "aaoa/aaaa";


//		final Pattern pattern = Pattern.compile("href\\s*=\\s*>\"(.*)\\s*\"");
//		final Pattern pattern = Pattern.compile("href\\s*=\\s*\"(\\S+)\"");     //      for href FINAL
		/**********************************/

//		final Pattern pattern = Pattern.compile("(href|src)\\s*=\\s*\"(\\S+)\"");   //for href|src FINAL
//		final Pattern pattern = Pattern.compile("\\S*[^b]");   //for href|src FINAL
//		String[] tesr = text2.split("/");
//		System.out.println(Arrays.asList(tesr));

//		final Matcher matcher = pattern.matcher(text2);
//		System.out.println(matcher.);
		/*while ( matcher.find() ) {
			System.out.println(matcher.group());
		}*/
		/**********************************/
//		final Pattern pattern = Pattern.compile("tag\\](.*)\\[/tag");
//		final Pattern pattern = Pattern.compile("tag\\](.*)\\[/tag");
		/*matcher.find();
		System.out.println(matcher.group(1));*/






	/*	String text3 = "1111111ava2222222";
		Pattern p3 = Pattern.compile("1+([a-v])2+");
		Matcher matcher = p3.matcher(text3);
		System.out.println(matcher.find());
		while ( matcher.find() ) {
			System.out.println(matcher.group(1));
		}*/




	/*	String pattern = "(?i)<title([^>]+)>(.+?)</title>";
		Pattern p = Pattern.compile(pattern);



		pattern = "(?i)(<title.*?>)(.+?)(</title>)";
		String updated = text2.replaceAll(pattern, "$2");
		System.out.println(updated);*/

//		Pattern p = Pattern.compile("(?<=(?i)href\\s{0,1}=\\s{0,1}\").*?(?=\")");
//		Pattern p = Pattern.compile("(?<=(?i)href\\s{0,1}=\\s{0,1}\").*?(?=\")");
//		Pattern p2 = Pattern.compile("http://[a-zA-Z0-9]\\{1,\\}\\.[-a-zA-Z0-9_]\\{1,\\}/*");
		/*Matcher m = p.matcher(text2);
		System.out.println(m.find());
		while ( m.find() ) {
			System.out.println(m.group());
		}*/


	}



		/*URL urlForTest = new URL("https://www.internic.com/");
		URL urlForTest = new URL("http://v-studia.com.ua/?id=1");
		URLConnection urlConnection = urlForTest.openConnection();

		Long size = urlConnection.getContentLengthLong();
		System.out.println(size);
		System.out.println(urlConnection.getContentType());*/

}

